Maj tracés réseaux #929

totakoko · 2024-11-14T17:20:24Z

Cette PR introduit quelques scripts utilisés pour mettre à jour les tracés et les données. Pas mal de synchro postgres - airtable.
Il y aura encore peut-être des changements pour affiner le processus avec les futures mises à jour côté Sébastien.
Le but était de vraiment maitriser les changements faits et noter toutes les modifications. Finalement c'était un peu un bourbier et il y a des choses que j'aurais pu simplifier.

j'ai encore plein de requêtes à mettre en forme / transformer en CLI.

Pour déployer en prod (à faire à peu près pendant le déploiement du build...) :

./scripts/copyLocalTableToRemote.sh prod reseaux_de_chaleur
./scripts/copyLocalTableToRemote.sh prod reseaux_de_froid
./scripts/copyLocalTableToRemote.sh prod zone_de_developpement_prioritaire
./scripts/copyLocalTableToRemote.sh prod zones_et_reseaux_en_construction

./scripts/copyLocalTableToRemote.sh prod reseaux_de_chaleur_tiles --data-only
./scripts/copyLocalTableToRemote.sh prod reseaux_de_froid_tiles --data-only
./scripts/copyLocalTableToRemote.sh prod zone_de_developpement_prioritaire_tiles --data-only
./scripts/copyLocalTableToRemote.sh prod zones_et_reseaux_en_construction_tiles --data-only

+ bonus avec la diminution de la hauteur du logo, vu avec Antoine et Florence

suite à un nouvel export de sébastien

totakoko · 2024-11-15T13:07:37Z

docs/génération_tuiles_réseaux_de_chaleur.md

-              \"energie_ratio_autreChaleurRecuperee\",
-              \"energie_ratio_biogaz\"
-            ) as \"energie_max_ratio\"
+            *


A un moment donné, on avait besoin de l'énergie majoritaire, mais ce n'est plus le cas, donc on simplifie la requête.

totakoko · 2024-11-15T13:08:37Z

docs/import_reseau_chaleur.md

@@ -15,7 +15,7 @@
 3. Mise à jour des données sur les réseaux depuis Airtable
    - Si la table des réseaux a été mise à jour lors de l'étape précédente : `yarn cli update-networks network`
    - Sinon
-        - `yarn cli download-network network`
+        - `yarn cli download-update-network network`


J'ai changé un peu le processus, et je voulais que download-network (= synchro de airtable vers postgres) n'ait pas d'effets de bord et ne modifie pas airtable. J'ai donc changé la commande référencée ici.
Ca devrait bouger aussi un peu à l'avenir.

totakoko · 2024-11-15T13:09:19Z

scripts/cli.ts

-  .argument('[zoomMin]', 'Minimum zoom', parseInt, 0)
-  .argument('[zoomMax]', 'Maximum zoom', parseInt, 17)
+  .argument('[zoomMin]', 'Minimum zoom', (v) => parseInt(v), 0)
+  .argument('[zoomMax]', 'Maximum zoom', (v) => parseInt(v), 17)


En fait il n'y a pas que v qui est passé en argument et ça passait directement en 2e argument de parseInt comme base. Et on veut pas ça...

totakoko · 2024-11-15T13:10:26Z

scripts/cli.ts

+    } catch (err) {
+      console.error('err', err);
+      process.exit(2);
+    }


Je pensais qu'il y avait un catch global pour chaque action mais que nenni. Il faudrait que ça soit global pour pas s'embêter avec des try catch.

totakoko · 2024-11-15T13:10:50Z

scripts/copyRemoteTableToLocal.sh

@@ -11,7 +11,7 @@ table=$2
 options=$3
 if [[ $env != "dev" && $env != "prod" ]]; then
  usage
-  exit 1+
+  exit 1


Typo d'origine 👏

totakoko · 2024-11-15T13:12:06Z

scripts/networks/download-network.ts

@@ -48,7 +48,7 @@ const conversionConfigReseauxDeChaleur = {
  'Dev_reseau%': TypeNumber,
  'Rend%': TypeNumber,
  reseaux_techniques: TypeBool,
-  departement: TypeNumber,
+  departement: TypeString,


La colonne departement contenait jusque là des codes départements / codes postaux. Et ça contient maintenant des labels... Du coup j'ai changé le type, et il faudra dans le futur compléter cette information automatiquement. C'est utilisé que côté airtable.

totakoko · 2024-11-15T13:15:44Z

src/components/Map/map-layers.ts

@@ -525,7 +525,7 @@ export function buildMapLayers(config: MapConfiguration): MapSourceLayersSpecifi
      source: {
        type: 'vector',
        tiles: [`${location.origin}/api/map/zoneDP/{z}/{x}/{y}`],
-        maxzoom: tileSourcesMaxZoom,
+        maxzoom: 14,


Changé car pas besoin d'avoir des cases plus petites. (qui prennent aussi du temps à être générées)

totakoko · 2024-11-15T13:16:49Z

src/core/infrastructure/repository/pdp.ts

+          ST_Transform('SRID=4326;POINT(${lon} ${lat})'::geometry, 2154),
+          geom
+        )
+      `)


Bon j'ai pas mal galéré aussi avec ça. Globalement le cast <boolean> est important pour kysely. Mais après j'ai dû utiliser sql.raw car je m'en sortais pas avec l'erreur bind message supplies 2 parameters, but prepared statement "" requires 0

martinratinaud

J'ai regardé (un peu légèrement c'est vrai :-)) mais la logique me parait bonne et la gestion facile à comprendre et à modifier, donc bravo !

martinratinaud · 2024-11-18T13:57:27Z

scripts/networks/download-network.ts

@@ -32,7 +32,7 @@ const conversionConfigReseauxDeChaleur = {
  'reseaux classes': TypeBool,
  has_PDP: TypeBool,
  nom_reseau: TypeString,
-  communes: TypeStringToArray,
+  // communes: TypeStringToArray,


Peut etre a enlever si on ne s'en sert plus

Comme c'est pas le seul champ, je préfère laisser pour le moment (voir toujours), pour bien comprendre qu'on a plein de champs définis mais qu'on ne veut pas synchroniser celui-là et que ce n'est pas un oubli.

martinratinaud · 2024-11-18T13:58:16Z

scripts/networks/download-network.ts

+    table: table,
+    count: networksAirtable.length,
+  });
+  const startTime = Date.now();


on peut utilise logger.time et logger.timeEnd je pense

time et timeEnd sont disponibles sur l'objet console uniquement. Là c'est un logger winston (json par défaut), et j'ai pas vu de méthodes similaires.

martinratinaud · 2024-11-18T13:59:41Z

scripts/cli.ts

@@ -45,11 +47,18 @@ program
    await downloadNetwork(table);
  });

+program
+  .command('download-update-network')
+  .argument('<network-id>', 'Network id', validateNetworkId)


petite description ici serait bien genre "download AND updates" d'ailleurs, je changerais le nom de la fonction qui peut porter à conusion (downloadUpdated)

Pour la partie updated, c'est plutôt un update que ça fait car ça met à jour aussi airtable. A la base, le but était de synchroniser que dans un sens airtable => postgres. Le processus a été modifié pour mettre à jour aussi des choses côté airtable. J'aurais plus vu une commande différente.

Avec le processus que j'ai fait, les mises à jour postgres => airtable n'utilisent que les changements de géométrie et mettent à jour les lignes correspondantes côté airtable.

Et à côté, on a la synchro airtable => postgres pour regarder les métadonnées quand potentiellement ça a pu être modifié sur airtable.

Donc au final, c'est un peu deprecated, et ça devrait sans doute partir avec les futures mises à jour des tracés (quand je process sera affiné et 100% fonctionnel). En attendant je met un downloadAndUpdate pour être plus clair.

martinratinaud · 2024-11-18T14:04:24Z

scripts/networks/geometry-updates.ts

+        'changement',
+        'ign_communes',
+        db.raw('geom_new as geom'),
+        db.raw("st_geometrytype(geom_new) = 'ST_MultiLineString' as is_line"), // spécifique mais un peu commun quand même


lol 🤣 c'est everridé dans quel cas ?

Sur les 4 types de données, on utilise cette info dans 2 cas (rdc, rdf), et on devrait utiliser ces informations dans 3 cas (+ futurs réseaux).

martinratinaud · 2024-11-18T14:15:05Z

scripts/networks/geometry-updates.ts

+  return !globalDryRun ? query : Promise.resolve();
+}
+
+function logAirtableQuery(operation: 'create', table: AirtableTable, data: object): Promise<any>;


pas vraiment fan de ces fonctions qui sont en fait uniquement typescript

On peut les mettres dans un fichier.d.ts ?

Perso, je trouve largement plus intéressant d'avoir la définition de fonction à côté de son implémentation. Il y a moins de risques d'oublier de la mettre à jour.

Là le but était d'avoir du polymorphisme pour appeler une seule fonction (qui accepte tous les arguments).

Après pour l'usage de fichiers .d.ts, pour moi c'est pas utile sachant que tout le projet est en .ts, donc plutôt que de mettre certains types dans du .d.ts et d'autres dans du .ts, je préfère tout mettre en .ts. Par contre, bien sûr rien n'empêche d'extraire les types et interfaces dans leur propre fichiers.

martinratinaud · 2024-11-18T14:16:05Z

scripts/networks/geometry-updates.ts

+
+// fonctions utilitaires pour logger les requêtes
+
+function logPGQuery(query: Knex.QueryBuilder<any, number>): Promise<any> {


de manière générale je mettrais ces utilitaires dans scripts/networks/utils car c'est déjà assez gros comme fichier

Pk pas, après se retrouver avec un fichier util, c'est pas forcément génial :p

De base, surtout quand le code est tout nouveau ou je ne suis pas sûr qu'il va rester très longtemps dans cet état, je préfère rester simple en termes de fichiers plutôt que l'exploser en plusieurs.
Là dans le fichier, c'est surtout la config qui prend de la place.
Mais on pourrait mettre ça dans un fichier airtable-operations.ts ou qqch comme ça.

martinratinaud · 2024-11-18T14:16:43Z

scripts/networks/sync-pg-to-airtable.ts

+ */
+export const syncPostgresToAirtable = async (dryRun: boolean) => {
+  const startTime = Date.now();
+  parentLogger.info('start postgres to airtable synchronization');


pareil, possibilité d'utiliser time et timeEnd

Justement, a priori non. :/

totakoko

Merci pour les commentaires. J'ai répondu à tous. Il y a pas mal de points à améliorer qui se feront petit à petit je pense, notamment l'organisation des fichiers, la suppression des commandes obsolètes, l'utilisation de kysely ❤️ ... pour avoir un process beaucoup plus clair et automatique.

J'ai pris en compte le download-and-update, et pour le reste on en reparle !

totakoko · 2024-11-18T14:25:40Z

scripts/cli.ts

@@ -45,11 +47,18 @@ program
    await downloadNetwork(table);
  });

+program
+  .command('download-update-network')
+  .argument('<network-id>', 'Network id', validateNetworkId)


Pour la partie updated, c'est plutôt un update que ça fait car ça met à jour aussi airtable. A la base, le but était de synchroniser que dans un sens airtable => postgres. Le processus a été modifié pour mettre à jour aussi des choses côté airtable. J'aurais plus vu une commande différente.

Avec le processus que j'ai fait, les mises à jour postgres => airtable n'utilisent que les changements de géométrie et mettent à jour les lignes correspondantes côté airtable.

Et à côté, on a la synchro airtable => postgres pour regarder les métadonnées quand potentiellement ça a pu être modifié sur airtable.

Donc au final, c'est un peu deprecated, et ça devrait sans doute partir avec les futures mises à jour des tracés (quand je process sera affiné et 100% fonctionnel). En attendant je met un downloadAndUpdate pour être plus clair.

totakoko · 2024-11-18T14:32:31Z

scripts/networks/download-network.ts

+    table: table,
+    count: networksAirtable.length,
+  });
+  const startTime = Date.now();


time et timeEnd sont disponibles sur l'objet console uniquement. Là c'est un logger winston (json par défaut), et j'ai pas vu de méthodes similaires.

totakoko · 2024-11-18T14:34:15Z

scripts/networks/geometry-updates.ts

+        'changement',
+        'ign_communes',
+        db.raw('geom_new as geom'),
+        db.raw("st_geometrytype(geom_new) = 'ST_MultiLineString' as is_line"), // spécifique mais un peu commun quand même


Sur les 4 types de données, on utilise cette info dans 2 cas (rdc, rdf), et on devrait utiliser ces informations dans 3 cas (+ futurs réseaux).

totakoko · 2024-11-18T14:42:14Z

scripts/networks/geometry-updates.ts

+  return !globalDryRun ? query : Promise.resolve();
+}
+
+function logAirtableQuery(operation: 'create', table: AirtableTable, data: object): Promise<any>;


Perso, je trouve largement plus intéressant d'avoir la définition de fonction à côté de son implémentation. Il y a moins de risques d'oublier de la mettre à jour.

Là le but était d'avoir du polymorphisme pour appeler une seule fonction (qui accepte tous les arguments).

Après pour l'usage de fichiers .d.ts, pour moi c'est pas utile sachant que tout le projet est en .ts, donc plutôt que de mettre certains types dans du .d.ts et d'autres dans du .ts, je préfère tout mettre en .ts. Par contre, bien sûr rien n'empêche d'extraire les types et interfaces dans leur propre fichiers.

totakoko · 2024-11-18T14:42:56Z

scripts/networks/sync-pg-to-airtable.ts

+ */
+export const syncPostgresToAirtable = async (dryRun: boolean) => {
+  const startTime = Date.now();
+  parentLogger.info('start postgres to airtable synchronization');


Justement, a priori non. :/

totakoko · 2024-11-18T15:00:09Z

scripts/networks/geometry-updates.ts

+
+// fonctions utilitaires pour logger les requêtes
+
+function logPGQuery(query: Knex.QueryBuilder<any, number>): Promise<any> {


Pk pas, après se retrouver avec un fichier util, c'est pas forcément génial :p

De base, surtout quand le code est tout nouveau ou je ne suis pas sûr qu'il va rester très longtemps dans cet état, je préfère rester simple en termes de fichiers plutôt que l'exploser en plusieurs.
Là dans le fichier, c'est surtout la config qui prend de la place.
Mais on pourrait mettre ça dans un fichier airtable-operations.ts ou qqch comme ça.

totakoko · 2024-11-18T15:02:37Z

scripts/networks/download-network.ts

@@ -32,7 +32,7 @@ const conversionConfigReseauxDeChaleur = {
  'reseaux classes': TypeBool,
  has_PDP: TypeBool,
  nom_reseau: TypeString,
-  communes: TypeStringToArray,
+  // communes: TypeStringToArray,


Comme c'est pas le seul champ, je préfère laisser pour le moment (voir toujours), pour bien comprendre qu'on a plein de champs définis mais qu'on ne veut pas synchroniser celui-là et que ce n'est pas un oubli.

totakoko added 8 commits November 14, 2024 18:19

Lint fichier

d504677

Ajout de scripts pour synchroniser postgres + airtable

0f00803

suite à un nouvel export de sébastien

Diminution du niveau de zoom pour la génération des tuiles

0cbce55

Fix requête isInPDP id => id_fcu + migration à kysely

c1eb08d

Modification département en string

e74ff3e

Commentaires sur fonctions utilitaires

8b31735

Diminution taille logo FCU

911464f

Maj requête génération tuiles RDC

692856e

totakoko commented Nov 15, 2024

View reviewed changes

Ajout procédure maj données FCU

8e9b742

totakoko requested a review from martinratinaud November 18, 2024 12:12

totakoko marked this pull request as ready for review November 18, 2024 12:12

martinratinaud approved these changes Nov 18, 2024

View reviewed changes

Renommage downloadAndUpdate

2024657

totakoko commented Nov 18, 2024

View reviewed changes

totakoko merged commit 3eb73a0 into dev Nov 18, 2024
4 of 5 checks passed

totakoko deleted the maj_tracés_réseaux branch November 18, 2024 15:09

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Maj tracés réseaux #929

Maj tracés réseaux #929

totakoko commented Nov 14, 2024 •

edited by martinratinaud

Loading

totakoko Nov 15, 2024

totakoko Nov 15, 2024

totakoko Nov 15, 2024

totakoko Nov 15, 2024

totakoko Nov 15, 2024

totakoko Nov 15, 2024

totakoko Nov 15, 2024

totakoko Nov 15, 2024

martinratinaud left a comment

martinratinaud Nov 18, 2024

totakoko Nov 18, 2024

martinratinaud Nov 18, 2024

totakoko Nov 18, 2024

martinratinaud Nov 18, 2024

totakoko Nov 18, 2024

martinratinaud Nov 18, 2024

totakoko Nov 18, 2024

martinratinaud Nov 18, 2024

totakoko Nov 18, 2024

martinratinaud Nov 18, 2024

totakoko Nov 18, 2024

martinratinaud Nov 18, 2024

totakoko Nov 18, 2024

totakoko left a comment

totakoko Nov 18, 2024

totakoko Nov 18, 2024

totakoko Nov 18, 2024

totakoko Nov 18, 2024

totakoko Nov 18, 2024

totakoko Nov 18, 2024

totakoko Nov 18, 2024


		// fonctions utilitaires pour logger les requêtes

		function logPGQuery(query: Knex.QueryBuilder<any, number>): Promise<any> {

Maj tracés réseaux #929

Maj tracés réseaux #929

Conversation

totakoko commented Nov 14, 2024 • edited by martinratinaud Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

martinratinaud left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

totakoko left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

totakoko commented Nov 14, 2024 •

edited by martinratinaud

Loading